from IPython.core.display import display, HTML
display(HTML("<style>.container { width:90% !important; }</style>"))

import warnings
warnings.filterwarnings('ignore')

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from PIL import Image

# Настройки вывода графиков
plt.rcParams["axes.titlesize"] = 16  # Размер шрифта
plt.rcParams["axes.titleweight"] = "bold"  # Толщина шрифта

try:
    labels = pd.read_csv('/datasets/faces/labels.csv')
except:
    raise FileNotFoundError(
        "Файл не найден по указанному пути: '/datasets/faces/labels.csv'"
    ) from e

labels.head(10)

labels.info()
labels.describe()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 7591 entries, 0 to 7590
Data columns (total 2 columns):
 #   Column     Non-Null Count  Dtype 
---  ------     --------------  ----- 
 0   file_name  7591 non-null   object
 1   real_age   7591 non-null   int64 
dtypes: int64(1), object(1)
memory usage: 118.7+ KB

def hist_show(df, column, title, xlabel, ylabel, bins=100):
    if column not in df.columns:
        raise ValueError(f"Столбец '{column}' не найден в DataFrame")

    # Создаём фигуру и ось
    fig, ax = plt.subplots(figsize=(12, 6))

    # Строим гистограмму с KDE
    sns.histplot(df[column].dropna(), bins=bins, kde=True, color='skyblue', edgecolor='black', linewidth=1, ax=ax)

    # Оформление
    ax.set_title(title)
    ax.set_xlabel(xlabel)
    ax.set_ylabel(ylabel)
    ax.grid(True)

    ax.set_xticks(range(0, 101, 10))
    ax.set_xticklabels([str(i) for i in range(0, 101, 10)])

    plt.tight_layout()
    plt.show()

hist_show(
    labels,
    'real_age',
    'Возрастное распределение',
    'Возраст',
    'Количество фотографий'
)

# Создаём фигуру и ось
fig, ax = plt.subplots(figsize=(14, 6))

# Строим boxplot по столбцу 'real_age'
labels.boxplot(
    column=['real_age'],
    vert=False,  # Горизонтально
    patch_artist=True,  # Заливка цветом
    boxprops=dict(facecolor="blue"),  # Цвет коробки
    grid=True,
    ax=ax  # Указание оси
)

# Заголовок
ax.set_title('Диаграмма размаха распределения возраста')
ax.set_yticklabels([])
ax.set_xlabel('Возраст')  # Добавим подпись оси X
plt.show()

# Константы
RANDOM_STATE = 42
TEST_SIZE = 0.25
BATCH_SIZE = 64

train_datagen = ImageDataGenerator(rescale=1/255.)
train_gen_flow = train_datagen.flow_from_dataframe(
        dataframe=labels,
        directory='/datasets/faces/final_files/',
        x_col='file_name',
        y_col='real_age',
        target_size=(224, 224),
        batch_size=BATCH_SIZE,
        class_mode='raw',
        seed=RANDOM_STATE)

Found 7591 validated image filenames.

features, target = next(train_gen_flow)

def photo(age, features=features, target=target, photo_in_row=5):
    """
    Отображает до `photo_in_row` фотографий людей
    с возрастом в диапазоне (age - 5, age + 5).

    Параметры:
    -----------
    age : int или float
        Целевой возраст, вокруг которого выбираются фотографии.
    features : list или numpy.ndarray
        Список или массив изображений.
    target : list или numpy.ndarray
        Список или массив возрастов, соответствующих изображениям из features.
    photo_in_row : int, по умолчанию 5
        Количество фотографий, отображаемых в одной строке.

    Поведение:
    -----------
    - Выводит цветной текст с диапазоном возраста.
    - Показывает до `photo_in_row` изображений с возрастом в указанном диапазоне.
    - Если подходящих изображений нет, выводит предупреждение.
    """
    print('\033[1m', f'Возраст от {age - 5} до {age + 5}', '\033[0m')
    
    fig = plt.figure(figsize=(15, 8))
    
    count = 0
    
    for s in range(len(target)):
        if age - 5 <= target[s] < age + 5:
            ax = fig.add_subplot(1, photo_in_row, count + 1)
            ax.imshow(features[s])
            ax.set_title(f'Возраст: {int(target[s])}')
            ax.axis('off')
            count += 1
            if count == photo_in_row:
                break

    if count == 0:
        print("❗Нет изображений с подходящим возрастом. В данном батче")
    
    plt.tight_layout()
    plt.show()

for i in range(5, 96, 10):
    photo(i, photo_in_row=3)

 Возраст от 0 до 10

 Возраст от 10 до 20

 Возраст от 20 до 30

 Возраст от 30 до 40

 Возраст от 40 до 50

 Возраст от 50 до 60

 Возраст от 60 до 70

 Возраст от 70 до 80

 Возраст от 80 до 90 
❗Нет изображений с подходящим возрастом. В данном батче

<Figure size 1080x576 with 0 Axes>

# Импортирую некоторые библиотеки второй раз, т.к. необходимо чтобы ячейка с GPU работала вне зависимости от предыдущего кода
import pandas as pd
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.applications.resnet import ResNet50
from tensorflow.keras.layers import GlobalAveragePooling2D, Dense, Dropout
from tensorflow.keras.models import Sequential
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.callbacks import EarlyStopping, ModelCheckpoint


# Константы
BATCH_SIZE = 16
RANDOM_SEED = 42
TEST_SPLIT = 0.25


def load_train(path):
    """
    Загружает и подготавливает обучающий датасет с изображениями и метками возраста.

    Параметры:
    ----------
    path : str
        Путь к директории, содержащей файл 'labels.csv' и папку 'final_files/' с изображениями.

    Возвращает:
    ----------
    DirectoryIterator:
        Объект генератора изображений для обучения модели.
    """
    labels = pd.read_csv(path + 'labels.csv')

    train_datagen = ImageDataGenerator(
        validation_split=TEST_SPLIT,
        horizontal_flip=True,
        rescale=1 / 255.
    )

    train_datagen_flow = train_datagen.flow_from_dataframe(
        dataframe=labels,
        directory=path + 'final_files/',
        x_col='file_name',
        y_col='real_age',
        target_size=(224, 224),
        batch_size=BATCH_SIZE,
        class_mode='raw',
        subset='training',
        seed=RANDOM_SEED
    )

    return train_datagen_flow


def load_test(path):
    """
    Загружает и подготавливает валидационный датасет с изображениями и метками возраста.

    Параметры:
    ----------
    path : str
        Путь к директории, содержащей файл 'labels.csv' и папку 'final_files/' с изображениями.

    Возвращает:
    ----------
    DirectoryIterator:
        Объект генератора изображений для валидации модели.
    """

    labels = pd.read_csv(path + 'labels.csv')

    test_datagen = ImageDataGenerator(
        validation_split=TEST_SPLIT,
        rescale=1. / 255
    )

    test_datagen_flow = test_datagen.flow_from_dataframe(
        dataframe=labels,
        directory=path + 'final_files/',
        x_col='file_name',
        y_col='real_age',
        target_size=(224, 224),
        batch_size=BATCH_SIZE,
        class_mode='raw',
        subset='validation',
        seed=RANDOM_SEED
    )

    return test_datagen_flow


def create_model(input_shape):
    """
    Создаёт и компилирует модель на основе предобученной ResNet50 для задачи регрессии возраста.

    Параметры:
    ----------
    input_shape : tuple
        Размер входного изображения (высота, ширина, каналы), например (224, 224, 3).

    Возвращает:
    ----------
    keras.Model:
        Скомпилированная модель Keras.
    """

    backbone = ResNet50(
        weights='imagenet',
        input_shape=input_shape,
        include_top=False
    )

    model = Sequential()
    model.add(backbone)
    model.add(GlobalAveragePooling2D())
    model.add(Dropout(0.3))
    model.add(Dense(1, activation='relu'))

    optimizer = Adam(learning_rate=0.0001)
    model.compile(optimizer=optimizer, loss='mean_squared_error', metrics=['mae'])

    return model


def train_model(model, train_data, test_data, batch_size=None, epochs=20,
                steps_per_epoch=None, validation_steps=None):
    """
    Обучает модель с использованием обучающих и валидационных данных, включая контроль переобучения.

    Параметры:
    ----------
    model : keras.Model
        Модель, которую нужно обучить.
    train_data : DirectoryIterator
        Генератор обучающих данных.
    test_data : DirectoryIterator
        Генератор валидационных данных.
    batch_size : int, optional
        Размер батча (по умолчанию None, берётся из генератора).
    epochs : int, optional
        Количество эпох обучения (по умолчанию 20).
    steps_per_epoch : int, optional
        Количество шагов на эпоху (по умолчанию равно длине train_data).
    validation_steps : int, optional
        Количество шагов валидации (по умолчанию равно длине test_data).

    Возвращает:
    ----------
    keras.Model:
        Обученная модель с лучшими весами по валидации.
    """

    if steps_per_epoch is None:
        steps_per_epoch = len(train_data)
    if validation_steps is None:
        validation_steps = len(test_data)
        
    # Сохранение лучшей модели + контроль от переобучения
    callbacks = [
        EarlyStopping(patience=5, restore_best_weights=True),
        ModelCheckpoint('best_model.h5', save_best_only=True)
    ]

    model.fit(
        train_data,
        validation_data=test_data,
        batch_size=batch_size,
        epochs=epochs,
        steps_per_epoch=steps_per_epoch,
        validation_steps=validation_steps,
        callbacks=callbacks,
        verbose=2
    )
    
    # Оценка модели
    test_loss, test_mae = model.evaluate(test_data, verbose=2)
    print(f"Test MAE: {test_mae:.2f}")

    return model

	file_name	real_age
0	000000.jpg	4
1	000001.jpg	18
2	000002.jpg	80
3	000003.jpg	50
4	000004.jpg	17
5	000005.jpg	27
6	000006.jpg	24
7	000007.jpg	43
8	000008.jpg	26
9	000009.jpg	39

	real_age
count	7591.000000
mean	31.201159
std	17.145060
min	1.000000
25%	20.000000
50%	29.000000
75%	41.000000
max	100.000000

Определение возраста покупателей¶

Описание проекта¶

Исследовательский анализ данных¶

Обучение модели¶

Анализ обученной модели¶